Communication-Efficient Learning of Deep Networks from Decentralized Data
サーベイの目的
FLの問題意識を理解
効率的な集約方法の考えを把握
書誌情報/著者
主張・新規性
プライバシーを保ちながら機械学習を行う
各端末がローカルで学習し,その結果を統合
グローバルモデルに対する更新を統合
更新は保存されない
現在のモデルに対する更新だから,次回以降は不要
データ最小化の原則
パラメータや勾配を統合?
データは中央に集めない
スマホでの利用が主眼?
大量のプライバシーデータが存在
さらに便利に
提案アルゴリズムは通信ラウンド数を削減
ローカルの学習を増加
その分通信コストを削減
❏ 既存研究との違い
従来の分散最適化やモデル平均化手法は以下が前提
データ数 >> クライアント数
高速なネットワーク
FLの最適化は前提が異なる
非IID & 不均衡なデータ
クライアント数 >> データ数
通信リソースが限定的
FedAVGは非IID,不均衡,通信制約に対応
❏ 技術・手法のポイント
FedAVGは統合サーバとクライアントの連合で学習
各ラウンドごとに
クライアントを選択
$ E(エポック数)だけSGD(確率的勾配降下法)を実行 $ B,ミニバッチサイズを使用
更新したモデルや差分を送信
サーバが平均化してグローバルを更新
この時,クライアントのデータ量で重みづけ
データが多いほど反映される?
❏ どう検証しているか（データ・実験・評価方法）
各種データを種々のモデルで実験
シェイクスピアのよくわからないやつ
単語予測データセット
以下のデータ分布を検証
IID
病的な非IID
病的って何?
自然な非IID
不均衡
評価指標
目標精度に達するまでの通信ラウンド数
FedAVGのパラメータが通信コストに与える影響を調査
$ C: クライアント選択率
$ E: ローカルエポック数
$ B: ミニバッチ数
❏ 議論・今後の課題・著者自身の限界認識
他の技術との組み合わせで更なるプライバシー向上を図れる
セキュアマルチパーティ計算
現実的な環境での課題がある
クライアントデータの動的な変化
クライアントの可用性
いつもFLに参加できるとは限らない
Eが過剰だと収束の停滞や発散が生じる
収束に近づいたらローカル計算量を減らした方が良いかも